RoFiGR: Coarse Routing, Fine Refinement via Level-Adaptive Distillation in Multimodal Generative Recommendation
RoFiGR:多模态生成推荐中的粗粒度路由与分层自适应蒸馏
🧭 生成式推荐 · Semantic ID 协同路由 ★ 深度解读
Beijing University of Posts and Telecommunications · Kuaishou Technology
融合协同信号对齐粗粒度 SID 与分层自适应蒸馏,提升多模态生成推荐的粗路由命中与排序
📌 工作参考价值(4 点)
- 在 SID 构建阶段,把 cumulative L1-L2 code vector 与 frozen CF item embedding 做对比对齐,可以将行为相似商品聚到同一粗前缀,同时保持 L1 分支活跃;电商场景可直接复用现有双塔/协同过滤模型,无需在线增加 teacher。
- 序列编码时对 flatten 后的 SID 显式加入 item-distance 与 source-level bias(只加第一层 self-attention),能区分 item 边界和层级来源,参数量仅 498 个标量,适合低延迟线上服务。
- 蒸馏不要 uniform 分配层级权重:L1-L2 保持固定 anchor,L3-L4 用 teacher-student demand 的 bounded adaptive residual 动态分配;demand 只在 teacher 同时超过 student 和 catalog prior 时为正,可自动把监督集中到信息量大的粗路由层。
- 推理中使用多 stream 独立 trie-constrained beam 后 stream-local normalization 再等权融合,能提升候选覆盖;通过 beam slot 预算或 candidate cap 做精度-延迟权衡,线上不调用 teacher。